RAG, AI Memory Architecture 나온다면?! | 매거진에 참여하세요

LLM의 근본적인 한계

대형 언어 모델은 놀라운 능력을 보여주지만 하나의 중요한 구조적 한계를 가지고 있다. LLM은 기억이 없었다.

모델은 매번 새로운 입력을 받고 그 순간의 컨텍스트만 기반으로 답을 생성한다.

이 구조를 흔히 stateless system이라고 부른다.

즉 모델은 다음을 기억하지 못한다.

• - 과거 대화

• - 사용자 취향

• - 이전 행동

이 문제는 AI 제품을 만들 때 큰 제약이 된다. 사용자가 같은 질문을 반복해야 하고 AI는 장기적인 관계를 형성할 수 없다.

왜 RAG가 등장했는가?

이 문제를 해결하기 위해 등장한 기술이 RAG (Retrieval Augmented Generation)이다.

RAG의 기본 구조는 다음과 같다.

1. - 사용자의 질문을 받는다

2. - 관련 문서를 검색한다

3. - 검색된 내용을 LLM에 제공한다

5. LLM이 답변을 생성한다

이 구조를 통해 AI는 외부 지식을 활용할 수 있다.

예를 들어

• - 회사 내부 문서

• - 제품 매뉴얼

• - 고객 데이터

이 정보를 기반으로 답변할 수 있다. RAG는 많은 AI 제품에서 핵심 아키텍처로 자리잡았다.

하지만 RAG는 기억 시스템이 아닌데 쓰고 있던것….

RAG는 매우 유용하지만 근본적으로 검색 시스템이다.

즉 다음과 같은 문제는 여전히 해결하지 못한다.

• - 사용자 취향 기억

• - 장기적 관계

• - 행동 기반 학습

예를 들어 AI 비서가 다음을 기억해야 한다고 생각해보자.

• 사용자가 좋아하는 음식 , 자주 가는 장소 , 일정 패턴

이것은 단순한 문서 검색 문제가 아니다 이것은 기억 시스템 문제다.

AI Memory Architecture

최근 AI 시스템은 메모리 구조를 도입하기 시작했다. 이 구조는 보통 세 가지 레이어로 구성된다.

1. 1. Short-term memory

현재 대화 컨텍스트다.

예를 들어

• - 최근 메시지

• - 현재 작업 상태

이는 대화 흐름을 유지하는 역할을 한다.

2. 2. Episodic memory

사용자의 행동 기록이다.

예를 들어

• - 과거 대화

• - 작업 기록

• - 사용자 패턴

이 메모리는 개인화에 매우 중요하다.

3. 3. Semantic memory

지식 기반이다.

예를 들어

• - 문서

• - 데이터베이스

• - 회사 정보

이 부분은 기존 RAG 구조와 연결된다.

기억을 가진 AI의 특징

AI가 메모리를 가지면 다음과 같은 변화가 생긴다.

• - 개인화

AI는 사용자 취향을 기억한다.

• - 장기 관계

AI는 지속적인 대화를 이어갈 수 있다.

• - 학습

사용자의 행동을 기반으로 점점 더 똑똑해진다.

즉 AI는 단순한 질문 답변 시스템이 아니라 지속적인 관계를 가진 시스템이 된다.

앞으로의 AI 제품 구조

미래의 AI 제품은 다음과 같은 구조를 가진다.

User
↓
Agent
↓
Memory Layer
↓
Knowledge Base
↓
Tools

AI의 핵심은 더 이상 모델이 아니다. 메모리와 시스템 구조다.

결론

RAG는 중요한 기술이지만 AI 발전의 중간 단계에 가깝다.

앞으로 AI 시스템의 핵심은

• - Memory

• - Agent

• - Tool

이 세 가지의 결합이 될 것이다.

AI는 더 이상 단순한 모델이 아니라 기억을 가진 소프트웨어 시스템으로 진화하고 있다.